The Low Frequency Trap: Video Language Models Fail at Simple Event Bookkeeping
低频陷阱:视频语言模型在简单事件计数上失败
🧭 视频语言模型时序推理评估
University of Maryland, College Park · Scale AI
视频语言模型在事件计数上呈现阶段性失效,瞬态事件几乎无法可靠计数,高频高计数下准确率仅0.2%。
📌 工作参考价值(4 点)
- 在电商视频推荐、直播回放分析中,若需计数关键事件(如商品展示次数、动作步骤),须意识到 VLMs 对瞬时事件极不可靠,应避免依赖此类计数。
- 可借鉴「参数化合成视频 + 事件跟踪」的评估范式,在内部自建可控诊断基准,快速定位模型在时间维度上的能力边界。
- 对于视频广告曝光频次校验等任务,单纯增加帧率并不能保证模型忠实地恢复事件序列,需结合事件级真值审计,防止指标虚高。
- 若在推荐 Agent 中使用 VLMs 理解用户行为视频,应优先选择对持久状态变化敏感的模型架构,并避免在高频动作场景下直接使用计数类信号。